Het kasteel van Acoz, midden in de vallei van de Biesme, staat in de 12de eeuw te boek als een bezit van de abdij van Floreffe. In 1543 werd het gekocht door Jean Marotte. Deze familie wordt in 1629 in de adelstand verheven.
Het kasteel bleef eigendom van deze familie tot 1759, wanneer Jean-Michel Valentin de Marotte, graaf van Quiévrain en zonder erfgenamen, het vermaakt aan zijn nicht Marie-Thérèse Cathérine d'Udekem. Zij schonk het op haar beurt aan haar neef Jacques-François-Joseph d'Udekem. Een eeuw later installeerde Irénéé Drion zich met haar familie in haar pas verworven eigendom, het kasteel van Acoz. Haar zoon Octave Pirmez, schrijver-dichterfilosoof en voortbrenger van "Lettres Belges", verbleef er tot zijn dood. In 1883 volgde zijn neef Maurice hem op. Het domein van Acoz hoorde toe aan de familie Pirmez tot het jaar 2000.
In 2001 verwierf Tony Cammaert, antiquair van de Grote Zavel in Brussel en specialist in Japanse kunst, het kasteel. Hij restaureerde deze ruwe parel naar de historische werkelijkheid en voegde er op subtiele wijze een Japanse sfeer aan toe.